AI Papers Daily

#Diffusion LM

2 篇

ALoDLM: Adaptively Looped Diffusion Language Models

自适应循环扩散语言模型

🧭 扩散语言模型 · 自适应计算

University of Illinois Chicago · Amazon AGI · Korea University

按 token 难度分配计算，扩散语言模型在多个基准上超越同规模 AR 模型并保持并行解码

📌 工作参考价值（4 点）

• 难度自适应计算可迁移到生成式推荐/query生成：在并行生成 Semantic ID、搜索词或推送文案时，不同 token 的预测难度差异大，可借鉴 ALoDLM 按 token 置信度动态分配迭代次数，避免对简单位置做无谓计算。
• 离散提交 + 隐状态继续精修：对电商场景中的流式生成或交互式 Agent，可将已确定的 token 提前作为条件输入，只对高不确定性 token 保留隐状态继续推理，类似级联早退机制，能显著降低平均延迟。
• 计算调度作为隐变量联合训练：如果把 token 的“停止迭代”决策也作为可学习变量，并用 NELBO 与最终生成质量一起优化，可以在线上对推理预算和业务指标做端到端权衡，比人工固定迭代次数更优。
• 并行解码吞吐优势明显：在需要大批量生成商品标题、广告文案或搜索 suggestion 的场景，扩散式并行解码能提供比 AR 更高的吞吐，适合高 QPS 线上服务。

Training | 2026-10-02 | HF Daily | score 7/10

Diffusion LMAdaptive ComputationLatent RecurrenceParallel DecodingLLM Training

dQwen3.5: Hybrid-Attention Diffusion Language Models

dQwen3.5：混合注意力扩散语言模型

🧭 扩散语言模型适配 · 混合架构 ★ 深度解读

University of Texas at Austin

将因果 RNN 骨干保留、仅双向化注意力层，实现 AR 到扩散语言模型的高效适配，训练 token 减半且保持并行/任意顺序解码

📌 工作参考价值（4 点）

• 若业务已有 hybrid AR 生成模型（如 query 生成、商品文案、搜索词生成），可直接做 AR→DLM 适配：只把 attention 层的因果 mask 关掉，保留 RNN 因果，再按论文做 token shifting 和复用未用 token id 作为 mask/pad/BOS，无需新 embedding 或改架构，即可继承权重并得到并行/任意顺序解码能力。
• 训练预算上，扩散适配 50B tokens 通常够用，尤其大模型不要盲目拉到 100B；把下游指标（而非训练 loss）作为停止/选 checkpoint 依据，同时学习率按原始能力保留来选，防止灾难性遗忘。
• 线上低延迟生成可借鉴 block decoding（块大小 32）做半自回归：块内任意顺序并行，块间左到右，适合搜索建议、push 文案等需要部分结构化的场景；confidence threshold 在 2–16× NFE 加速下仍维持较好的 HumanEval 表现，可直接探索。
• 微调数据配比：初始 71% 领域代码不如 50% code + 35% general 混合，加入通用语料后 19/20 指标提升；对推荐/搜索生成模型的领域微调有同样启示——保留通用数据，且对代码/执行类数据可做可执行性验证过滤。

Training | 2026-09-17 | cs.LG | score 8/10

Diffusion LMAR-to-DLMHybrid AttentionParallel DecodingTraining Efficiency